Cuối thế kỷ 19, trong quá trình xâm lược Việt Nam, người Pháp đã tổ chức ra một bộ máy khá hoàn chỉnh từ trung ương cho đến địa phương. Ở trung ương là Phủ toàn quyền Đông Dương; ở các kỳ là Thống sứ Bắc Kỳ, Khâm sứ Trung Kỳ, Thống đốc Nam Kỳ; ở các tỉnh là các Công sứ... nhằm phục vụ cho việc cai trị Việt Nam thời kì đó.Sau khi chiếm được Hà Nội vào năm 1883, người Pháp đã tiến hành xây dựng thành phố Hà Nội mới, xây dựng các công trình cơ sở hạ tầng, trong đó có trụ sở Phủ toàn quyền Đông Dương, phục vụ cho công cuộc khai thác thuộc địa lần thứ nhất.

Công trình Phủ Toàn quyền Đông Dương (tiếng Pháp: Palais du Gouvernement général de l'Indochine) tại Hà Nội do kiến trúc sư Charles Lichtenfelder thiết kế và được xây dựng trong những năm 1901-1906 với quy mô hoành tráng, uy nghiêm và quyền lực. Có nguồn cho biết người phụ trách xây dựng phủ là Auguste Henri Vildieu vì ông là người đứng đầu bộ phận xây dựng công của chế độ thực dân Pháp khi ấy. Việc xây dựng được khởi xướng bởi Toàn quyền Paul Doumer, học giả William Logan cho rằng việc tạo ra các dinh thự ở Hà Nội là một niềm đam mê quá mức của Doumer vì muốn xây dựng một thủ đô thuộc địa phản chiếu vinh quang của nước Pháp[1]. Từ khi tòa nhà được hoàn thành đến ngày cách mạng Tháng Tám 1945 thành công, đã có 29 đời Toàn quyền và Quyền Toàn quyền ở và làm việc.

Khi Nhật đảo chính Pháp tại Đông Dương, dinh thự này được sử dụng là nơi ở và làm việc của Công sứ Nhật tại Bắc Bộ. Sau khi Nhật đầu hàng Đồng Minh, người Pháp tìm cách tiếp quản dinh thự này như một biểu tượng tái xuất hiện quyền cai trị. Tuy nhiên, ngày 3 tháng 10 năm 1945, Chủ tịch Hồ Chí Minh đã ký sắc lệnh bãi bỏ toàn bộ các cơ quan thuộc Phủ Toàn quyền Đông Dương và thiết lập một hệ thống cơ quan phục vụ chính phủ lâm thời Việt Nam tại đây.[2] Sau khi tái chiếm Đông Dương, người Pháp đã sử dụng nơi đây làm nơi làm việc cho Ủy viên Cộng hòa tại Bắc Kỳ và Bắc Trung Kỳ (tiếng Pháp: Commissaire de la République pour le Tonkin et l'Annam du Nord). Năm 1954, Việt Minh đánh bại Pháp tại chiến dịch Điện Biên Phủ và chuyển chính quyền Việt Nam Dân chủ Cộng hòa về Hà Nội. Nơi đây được dùng làm Dinh thự cho Chủ tịch nước và bộ máy cơ quan giúp việc. Từ đó có tên gọi chính thức là Phủ Chủ tịch cho đến ngày nay.

Trong 15 năm, từ năm 1954 đến năm 1969, tại Phủ Chủ tịch, Chủ tịch Hồ Chí Minh đã tiếp trên 1000 đoàn đại biểu trong nước và ngoài nước. Đây cũng là nơi Chủ tịch Hồ Chí Minh nhiều lần đọc thơ chúc Tết đầu xuân nhân dịp năm mới.[3]

Hồ Chí Minh nổi tiếng với việc ông không bao giờ vào sinh sống và làm việc trong Phủ mà chỉ tiếp khách tại đây. Thay vào đó, ông chuyển đến ở khu nhà của những người thợ điện phục vụ trước đây phía sau Phủ, nơi ông sống từ năm 1954-1969 và cũng là nơi ông gặp gỡ các nhà báo quốc tế và các đại diện ngoại giao.

Nhà báo Úc Wilfred Burchett hồi tưởng về việc mong muốn được chụp một bức ảnh Chủ tịch Hồ Chí Minh tại nơi làm việc trong văn phòng của ông, nhưng Hồ Chí Minh trả lời: "Nhưng tôi không có một văn phòng làm việc nào. Nếu thời tiết tốt, tôi làm việc ngoài vườn, nếu trời mưa, tôi làm việc dưới mái hiên và nếu trời lạnh tôi làm việc trong phòng ngủ của tôi."